Optimal complexity and certification of Bregman first-order methods

نویسندگان

چکیده

We provide a lower bound showing that the O(1/k) convergence rate of NoLips method (a.k.a. Bregman Gradient or Mirror Descent) is optimal for class problems satisfying relative smoothness assumption. This assumption appeared in recent developments around method, where acceleration remained an open issue. The main inspiration behind this stems from extension performance estimation framework Drori and Teboulle (Mathematical Programming, 2014) to first-order methods. technique allows computing worst-case scenarios context relatively-smooth minimization. In particular, we used numerically generated examples as basis obtaining general bound.

برای دانلود رایگان متن کامل این مقاله و بیش از 32 میلیون مقاله دیگر ابتدا ثبت نام کنید

اگر عضو سایت هستید لطفا وارد حساب کاربری خود شوید

منابع مشابه

the effect of task complexity on lexical complexity and grammatical accuracy of efl learners’ argumentative writing

بر اساس فرضیه شناخت رابینسون (2001 و 2003 و 2005) و مدل ظرفیت توجه محدود اسکهان (1998)، این تحقیق تاثیر پیچیدگی تکلیف را بر پیچیدگی واژگان و صحت گرامری نوشتار مباحثه ای 60 نفر از دانشجویان زبان انگلیسی بررسی کرد. میزان پیچیدگی تکلیف از طریق فاکتورهای پراکندگی-منابع تعیین شد. همه ی شرکت کنندگان به صورت نیمه تصادفی به یکی از سه گروه: (1) گروه موضوع، (2) گروه موضوع + اندیشه و (3) گروه موضوع + اندی...

15 صفحه اول

Iteration-complexity of first-order penalty methods for convex programming

This paper considers a special but broad class of convex programming (CP) problems whose feasible region is a simple compact convex set intersected with the inverse image of a closed convex cone under an affine transformation. It studies the computational complexity of quadratic penalty based methods for solving the above class of problems. An iteration of these methods, which is simply an iter...

متن کامل

An acceleration procedure for optimal first-order methods

We introduce in this paper an optimal first-order method that allows an easy and cheap evaluation of the local Lipschitz constant of the objective’s gradient. This constant must ideally be chosen at every iteration as small as possible, while serving in an indispensable upper bound for the value of the objective function. In the previously existing variants of optimal first-order methods, this ...

متن کامل

Higher-Order TV Methods - Enhancement via Bregman Iteration

In this work we analyze and compare two recent variational models for image denoising and improve their reconstructions by applying a Bregman iteration strategy. One of the standard techniques in image denoising, the ROF-model (cf. Rudin et al. in Physica D 60:259–268, 1992), is well known for recovering sharp edges of a signal or image, but also for producing staircase-like artifacts. In order...

متن کامل

asymptotic property of order statistics and sample quntile

چکیده: فرض کنید که تابعی از اپسیلون یک مجموع نامتناهی از احتمالات موزون مربوط به مجموع های جزئی براساس یک دنباله از متغیرهای تصادفی مستقل و همتوزیع باشد، و همچنین فرض کنید توابعی مانند g و h وجود دارند که هرگاه امید ریاضی توان دوم x متناهی و امیدریاضی x صفر باشد، در این صورت می توان حد حاصلضرب این توابع را بصورت تابعی از امید ریاضی توان دوم x نوشت. حالت عکس نیز برقرار است. همچنین ما با استفاده...

15 صفحه اول

ذخیره در منابع من


  با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید

ژورنال

عنوان ژورنال: Mathematical Programming

سال: 2021

ISSN: ['0025-5610', '1436-4646']

DOI: https://doi.org/10.1007/s10107-021-01618-1